정보과학회 논문지 C : 컴퓨팅의 실제
Current Result Document :
| 한글제목(Korean Title) |
맵리듀스기반 스트림 데이터 처리를 위한 스트림 할당 및 분할 기법 |
| 영문제목(English Title) |
MapReduce-based Stream Assigning and Splitting Technique for Stream Data Processing |
| 저자(Author) |
박수현
류우석
홍봉희
권준호
SooHyun Park
WooSeok Ryu
BongHee Hong
JoonHo Kwon
|
| 원문수록처(Citation) |
VOL 19 NO. 08 PP. 0439 ~ 0443 (2013. 08) |
한글내용
(Korean Abstract) |
최근 센서 기기 사용의 증가로 인해 센서로부터 발생하는 데이터량 역시 빠르게 증가하고 있다. 따라서 빅데이터 처리 플랫폼인 하둡을 활용하여 증가하고 있는 스트림 데이터를 처리하고자 한다. 그러나 하둡은 일괄 배치처리 플랫폼으로 스트림 데이터에 대한 실시간 처리를 지원하지 않는다. 따라서 이 논문에서는 연속적으로 들어오는 스트림 데이터를 처리하기 위해 맵리듀스 온라인의 파이프라인 기법을 사용하고 스트림 입력을 받기 위해 맵리듀스를 확장하였다. 또한 스트림 데이터를 처리하면서 발생하는 부하 발생 문제를 해결하기 위해 여러 스트림 데이터를 어떻게 다수의 클러스터 노드에 할당하고 데이터를 분할할 것인지에 대하여 연구하였다.
|
영문내용
(English Abstract) |
The increasing uses of sensors are increasing the amount of stream data. In this paper, we studied the techniques of distributed parallel processing of stream data using Hadoop. Hadoop is designed to be a batch processing system; it is not made for processing stream data. If original Hadoop is used for processing stream data, when it encountered multiple streams there will be load at a specific Hadoop Map Task. This is happening because the volume and incoming rates of stream data is vary. Therefore, we extend Hadoop's MapReduce and use MapReduce Online's pipeline for processing stream data and cope with load balancing.
|
| 키워드(Keyword) |
하둡
맵리듀스
맵리듀스 온라인
스트림처리
부하분산
hadoop
MapReduce
MapReduce online
stream-proces
load-balancing
|
| 파일첨부 |
PDF 다운로드
|
